Alvarez sinh năm 1937 tại Salinas, California.[1] Ông là cháu nội của những người nhập cư từ Mexico.[2] Ông đã theo học tại Đại học Santa Clara nhờ nhận được học bổng học thuật.[3] Sau đó, ông gia nhập Hải quân Hoa Kỳ vào năm 1960 và được chọn tham gia chương trình đào tạo phi công.

Vào ngày 5 tháng 8 năm 1964, trong Chiến dịch Mũi Tên Xuyên, Thiếu úy Alvarez điều khiển máy bay Douglas A-4 Skyhawk và bị bắn rơi sau những diễn biến trong sự kiện Vịnh Bắc Bộ. Ông đã chịu đựng 8 năm 7 tháng bị giam cầm bởi miền Bắc Việt Nam tại nhà tù Hỏa Lò (nơi mà các tù binh Hoa kỳ mỉa mai là "Hanoi Hilton; (Khách sạn Hà Nội)", nơi ông bị đánh đập và tra tấn nhiều lần.[4] Alvarez được đồng đội tù binh đánh giá cao bởi vì gần như trong suốt một năm, ông là tù binh phi công duy nhất.[5]